\section{附录\thesection: 矩阵分解介绍}\label{197}

\begin{frame}{奇异值分解}
  \begin{theorem}
    设 \( A \in  {\bC}^{m \times  n} \) (转: \( A \in  {\bR}^{m \times  n} \) ). 
    那么存在酉矩阵 (转：正交矩阵) \( U \) 和 \( V \) 使得 
    \[
      A =U DV,\quad  \text{其中~} D = \begin{pmatrix}
        \sigma_1 \\ & \ddots \\ && \sigma_r  \\ &&& 0_{(m-r)\times (n-r)}
    \end{pmatrix}
\]
  满足$\sigma_1\geqslant \cdots \geqslant \sigma_r>0$ ($r=\rank A$).
\end{theorem}
上述定理中的分解称为$A$的奇异值分解，
$D$的主对角线上的$\min\{m,n\}$个数$\sigma_1,\cdots,\sigma_r, 0,\cdots,0$称为$A$的\emph{奇异值}。
若
\end{frame}

\begin{frame}

  \begin{proof*}[证明一]
以实矩阵为例。令 \( \rank A = r, \) 则 \( \rank {A}^{\rT }A =\rank A = r. \) 考虑实对称
矩阵 \( {A}^{ \rT }A \). 由于 \( {A}^{ \rT }A \) 半正定，其特征值非负，其中正特征值
有 \( r \) 个，故可设 \( {A}^{\rT}A \) 的特征值为 
\[ {\sigma }_{1}^{2},\ldots ,{\sigma }_{r}^{2},0,\ldots ,0, \quad 
  \text{其中~} 
{\sigma }_{1} \geqslant  {\sigma }_{2} \geqslant \cdots  \geqslant  {\sigma }_{r} > 0. \]
令相应的规范正交的特征向量为 \( \alpha_{1},\cdots ,\alpha_{n}\);
令 
\[
{P}_{1} = 
\begin{pmatrix}
\alpha_{1} & \cdots & \alpha_{r}
\end{pmatrix}, \quad 
{P}_{2} = 
\begin{pmatrix}
\alpha_{r + 1} & \cdots & \alpha_{n}
\end{pmatrix},\quad
P=\begin{pmatrix}
  P_1 & P_2
\end{pmatrix}.
\]
那么 \( P \) 为正交矩阵。
令 \( {D}_{1} = \operatorname{diag}( {{\sigma }_{1},\cdots ,{\sigma }_{r}}) \),
则 \( {A}^{ \rT }A{P}_{1} = {P}_{1}{D}_{1}^{2} \). 
$P$是正交矩阵表明 \( {P}_{1}^{\rT }{P}_{1} = E \), 从而有
\[ {( {D}_{1}^{-1}) }^{\rT} {P}_{1}^{\rT} {A}^{\rT} A{P}_{1}{D}_{1}^{-1} = E. \]
令 \( {Q}_{1} = AP_1D_{1}^{-1} \), 则 \( {Q}_{1}^{\rT}{Q}_{1} = E \),
即 \( {Q}_{1} \) 的列规范正交。 将 \( {Q}_{1} \) 扩充
为正交矩阵得 \( Q = \begin{pmatrix}  Q_1 & {Q}_{2}\end{pmatrix} \).
那么 \( {Q}_{2}^{\rT }{Q}_{1} = 0 \), 从而 \( {Q}_{2}^{\rT}A{P}_{1} = 0 \).
  此时
\[
{Q}^{\rT }{AP} = \begin{pmatrix}  {Q}_{1}^{\rT}\\ {{Q}_{2}^{\rT }}\end{pmatrix} 
A \begin{pmatrix}  {P}_{1} & {P}_{2} \end{pmatrix} = 
\begin{pmatrix} {Q}_{1}^{\rT }A{P}_{1} & {Q}_{1}^{\rT }A{P}_{2} \\  {Q}_{2}^{\rT }A{P}_{1} & {Q}_{2}^{\rT }A{P}_{2} \end{pmatrix}  
= \begin{pmatrix} {D}_{1} \\  & 0 \end{pmatrix}. 
\]
\end{proof*}
%\begin{proof}
%以实矩阵为例。
%存在正交矩阵 \( {P}_{1},{P}_{2} \) 使得 \( {P}_{1}A{P}_{2} = \begin{pmatrix}
%A_1 \\ & 0
% \end{pmatrix} \) ,其中 \( A \) 非奇异。 正交矩阵${A}_{1}^{\rT }{A}_{1}$可写为
%\( {A}_{1}^{\rT }{A}_{1} = {S}_{1}^{2} \) ,其中 \( {S}_{1} \) 为正定矩阵。 此时
%\[ E = {S}_{1}^{-1}{A}_{1}^{\rT}{A}_{1}{S}_{1}^{-1} = {( {A}_{1}{S}_{1}^{-1}) }^{\rT}{A}_{1}{S}_{1}^{-1}. \]
%故 \( {P}_{4} \coloneq {A}_{1}{S}_{1}^{-1} \) 为正交矩阵, 又正定的$S_1$可写为 \( {S}_{1} = {P}_{3}^{\rT} D  {P}_{3} \), 其
%中$D$ 对称，$P_3$为正交矩阵。这样
%\[ {A}_{1} = {A}_{1}{S}_{1}^{-1}{P}_{3}^{ \rT }D{P}_{3} = {P}_{4}{P}_{3}^{ \rT }D{P}_{3} \]
%\end{proof}
\end{frame}

\begin{frame}


\begin{proof*}[证明二]
  以实矩阵为例。 可设$m\geqslant n$, 否则可从$A^{\rT}$的SVD分解得到$A$的SVD分解。
  半正定的实对称矩阵$A^{\rT}A$可分解为$A^{\rT}A=V^{\rT}CV$, 其中$V$为正交矩阵，
 $C=\diag(\sigma_1^2,\cdots,\sigma_n^2)$为对角矩阵， 满足
 $\sigma_1\geqslant \cdots \geqslant \sigma_n\geqslant 0$.
 令$C_1=\diag(\sigma_1,\cdots,\sigma_n)$. 
注意到
\[
  A^{\rT}A=V^{\rT}CV=B^{\rT}B, \quad \text{其中~}
 B=\begin{pmatrix}
  V^{\rT}C_1V\\ 0_{(m-n)\times n}
\end{pmatrix}.
\]
由练习~\ref{10C}~知
存在正交矩阵$W\in \bR^{m\times m}$使得 
\[
  A=WB=W\begin{pmatrix}
  V^{\rT}C_1V \\ 0_{(m-n)\times n}
\end{pmatrix} = W\begin{pmatrix}
  V^{\rT} \\ & E
\end{pmatrix} \begin{pmatrix}
  C_1 \\ 0 
\end{pmatrix} V.
\]
令
\[
U= W\begin{pmatrix}
  V^{\rT} \\ & E
\end{pmatrix},\quad 
D=\begin{pmatrix}
  C_1 \\ 0 
\end{pmatrix}, 
\]
则$A=UDV$就是想要的分解。
 \end{proof*}
\end{frame}
